モダンデータスタックカテゴリ紹介 #14 『Data Privacy and Governance(データプライバシーとガバナンス)』 – Modern Data Stack Categories Overview Advent Calendar 2023

モダンデータスタック(MDS)

#Immuta

#Castor

しんや

2023.12.14

当エントリは『Modern Data Stack Categories Overview Advent Calendar 2023』 14日目のエントリです。

データ分析、データを扱う世界では昨今『モダンデータスタック(Modern Data Stack/MDS)』という考え方、サービス構成が大きな注目を浴びています。データの収集、処理、保存、分析に使用されるツールとクラウドデータサービスを集めたソリューションを指す言葉です。クラスメソッドとしてもこのモダンデータスタック(Modern Data Stack/MDS)を推しており、下記の内容でお客様にサービスとして提供しています。

このモダンデータスタックという考え方、現在では構成するサービス群のジャンルが非常に多岐に渡ってきています。このカテゴリ分けも正直企業や個人によって定義が分かれていたりするのですが、『Modern Data Stack - Everything that you need to know !』というサイトではこのカテゴリ分類がシンプルかつ分かりやすく展開されています。このアドベントカレンダー企画では、このサイトで展開されているカテゴリ毎について内容を理解することで見識を広め、今後のサービス展開・サービス選択を検討する足掛かりとして行きたいと思います。

当エントリでは、Modern Data Stack(MDS)におけるカテゴリ『Data Privacy and Governance(データプライバシーとガバナンス)』の内容について紹介します。

モダンデータスタック(Modern Data Stack/MDS)における『データプライバシーとガバナンス』とは

アドベントカレンダー企画の趣旨については1日目のエントリ内『当アドベントカレンダー企画について』をご参照ください。

データプライバシーとガバナンスは、データ・プライバシーとガバナンスは、データの完全性とデータ保護を確保し、企業のデータ管理を確実にするためのプロセスで構成されます。

データプライバシーとガバナンスに関するポイントは以下の通り。

データガバナンス
- データ管理の概念であり、企業がデータをどのように管理しているかを示す指標。
- データガバナンスに関するコントロールは以下の要素によって達成される
  - 高品質なデータ
  - データパイプラインの可視性
  - 実行可能な権限管理
  - 明確な説明責任
- データガバナンスは、企業のデータを一貫して適切に取り扱うために必要な人材、プロセスやツールを包含する
- データの一貫した適切な取り扱いとは、可用性、有用性、一貫性、理解しやすさ、データの完全性、データの安全性を確保することを意味する
優れたデータガバナンスとプライバシーモデルは、人、プロセス、ソフトウェアのミックスである
データガバナンスはビジネスに直接的な影響を与える
データガバナンスの歴史
- 1990年～2010年：データプライバシーに関する第1次規制の出現
- 2010年～2020年：規制を遵守するための最初のツールが登場、Cレベルがデータガバナンスがビジネス価値を高める戦略的優位性になることを認識
- 2020+：自動化された実行可能なデータガバナンスの時代へ
データガバナンスの課題は皆同じではない
- 業界ニーズや企業規模に応じた多様なガバナンスのユースケースが存在。
- データガバナンス・プログラムには、主に2つの推進要因がある
  - 業界で必要とされる規制のレベル
  - データ資産の複雑さ
優れたデータガバナンスとプライバシーモデルを構築するには幾つかの要素が必要
- データ・アーキテクチャ（ストレージ、モデリング、可視化）
- 検索と発見
- メタデータとドキュメンテーション
- データの品質
- セキュリティとアクセス権
- コンプライアンスと規制
モダンデータスタックにおけるデータガバナンスの位置付け
- 生データソースからドメインエキスパートのダッシュボードに信頼をもたらす

MDSにおける主なデータプライバシーとガバナンス系サービス

ここではモダンデータスタックにおける『データプライバシーとガバナンス』のカテゴリで主だったサービスについて幾つか言及していきたいと思います。(ここでの評価はユーザーによるサイト内でのLIKEの数が多いものを中心に見ていきます)

CastorDoc

当アドベントカレンダー12日目に登場したCastorDocがここでも登場です。詳細はこちらの過去エントリをご参照ください。

Immuta

Immutaはデータアクセス制御、セキュリティ、プライバシーコンプライアンスを自動化するためのクラウドネイティブなデータガバナンスプラットフォームです。

機密データのディスカバリー、セキュリティ、アクセスコントロール、アクティビティモニタリングを提供することで、企業がクラウドデータから価値を引き出せるよう支援します。データセキュリティの向上と運用の簡素化により、企業は適切なデータを適切な担当者に提供できるようになり、より多くのデータ製品の構築、コラボレーション、データの共有、新たな収益ストリームの創出が可能となります。

Immutaについてはクラスメソッドとしても2022年07月にパートナー締結を行っています。

また、DevelopersIOでもImmutaに関するブログエントリを適宜投稿しています。Immutaに関してはエンジニア一同、これからもブログを沢山投稿していきます。

その他Immutaに関する基本的な情報は以下の通り。

Avo

Avoはプロダクト・マネージャー、開発者、データサイエンティストが製品アナリティクスを計画、追跡、管理するための次世代アナリティクスガバナンスサービスです。

Avo のトラッキング・プラン・インターフェースにより、チームはイベント・スキーマを標準化し、分岐されたワークフローとピアレビューにより関係者に情報を提供し、タイプセーフのアナリティクスコードとデバッガにより、実装をかつてないほど迅速に行うことができます。Avoは既存のアナリティクス・ツールとシームレスに連携するため、チームはデータ品質を損なうことなく、より迅速な出荷が可能となります。

その他Avoに関する基本的な情報は以下の通り。